τ-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions
τ-Emotion-Bench:用真实用户情绪暴露 LLM Agent 交互脆弱性
🧭 情绪化用户交互下工具调用 Agent 评估与训练 ★ 深度解读
Arizona State University
提出情绪化用户交互基准与 Tracer 数据管线,用交互感知信号训练工具调用 Agent 提升可靠性与跨域迁移
📌 工作参考价值(4 点)
- 在电商导购/售后 Agent 的轨迹合成中,可引入“用户不满可提前终止”的交互感知 reward,过滤最终成功但频繁追问、过度依赖用户的轨迹;让模型优先通过工具查库存/价格/订单,信息不可得时才向用户确认。
- 用户模拟器压测时,不要把情绪作为独立任务或改变任务目标,而应在同一任务上叠加情绪条件(如焦虑、不耐烦、低信任)并保留原成功判定,能更稳定地暴露 Agent 的交互鲁棒性。
- 用“工具调用/追问比”作为线上会话 Agent 的诊断指标:成功会话通常工具调用明显多于追问;可以在 prompt 或 reward 中约束“先查工具,再必要时追问”。
- 借鉴 Tracer 的依赖图 + 反写自然指令流程,可以为业务领域低成本生成 policy-valid 多步任务和训练轨迹;少量高质量交互感知数据比大批普通成功轨迹更利于跨域迁移。